package rdd

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark_RDD_Memory_Par {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("par")
    val sc = new SparkContext(conf)
    //    textFile默认最小分区数量为2
    //分区数量计算方式：底层采用hadoop的计算方式
    //spark读取文件时是按行读取的，数据读取时是按偏移量读取
    val file: RDD[String] = sc.textFile("data/test*.txt", 3)
    file.saveAsTextFile("out/File")

    sc.stop()
  }

}
